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Применение микросервисов в высоконагруженном биллинге 


https:/www.highload.ru/siberia/2019/abstracts/5384 
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Халявы не будет 


Витрина продуктов абонента: 


е -30Т) сырых данных в Oracle, -3000 TPS обновлений 
е Нет брокера, из которого можно прочитать эти изменения 


• Данные в витрине должны быть транзакционно целостные 
е Отставание витрины — не более 30 секунд от Oracle 


е -110 данных в Tarantool, до 1Tb изменений в сутки 


А HighLoad#+ 
(ні) са 


Прогрев 


SELECT ж 
ЕКОМ ТАВІЕ 
МІНЕКЕ ХХХ - ҮҮҮ 


Tarantool 


Oracle Database 


А HighLoad 
суда сь 


Халявы не будет. Совсем 


при прогреве использовать WHERE нельзя 
нагрузили Oracle 
время выгрузки -2 недели 
данные на момент выгрузки уже неактуальные 
.. U это мы еще до получения изменении не дошли 
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Транзакционная целостность 
Полноценная поддержка ETL 
Минимальная нагрузка на базу 
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Как делали 


ө Первый подход к снаряду: 
о Прогрев через выгрузку/загрузку CSV 
о Репликация через XML 
е Второй подход к снаряду: 
о Прогрев напрямую из Oracle 
о USEREXIT 
е Третий подход?.... 
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Работающий кэш 


. Загружен данными (прогрев) 
‚ Данные актуальны (репликация) 
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. Загружен данными (прогрев) 
‚ Данные актуальны (репликация) 
. Observable/maintainable/*****able 
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Прогрев с въгрузко в (SV 


Выгрузка из Oracle 
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Прогрев 


ө нам нужен только срез данных 
е минимальная нагрузка на Oracle 
® адекватное время прогрева 
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"Угнать за 60 секунд”. Минут? Часов?! 
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Особенности выгрузки из Oracle 


Никаких WHERE 

Адекватное партиционирование 

prefetch = 1000 (bulk) 

10, максимум 30 потоков выгрузки 

Время выгрузки — до 6 часов 

Скорость выгрузки — 60000 - 700 000 строк в секунду 
1.2Tb (5/-файлов 
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Загрузка в витрину 
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Модель данных 


. Данные шардировань по абоненту 

. Уабонента есть подключенные услуги 
(-4 млрд записей) 

. Для каждой услуги есть 
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млрд записей) 


А HighLoad 
Gu gio» 


Запись данных в кэш 


INSERT 


shard 1 shard 2 shard N 


цар 


ка HighLoad 
(HL) ы У 
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Особенности загрузки 


1 шаг — грузим данные по абоненту 

2 шаг — догружаем все привязанные к нему сущности 
отфильтровали данные на загрузке в кэш 

-12 часов на загрузку данных 
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GoldenGate: различные топологии потоков данных 
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GoldenGate: фильтрация и трансформация 
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GoldenGate: как работает 
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GoldenGate: как работает 
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Summary 


Позволяет реплицировать данные 
Может изменять реплицируемые данные 
Реплицирует только закоммиченные транзакции 
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Trail: форматы 
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Trail: XML 


<dbupdate table=”XXX” type=”update” image=”before”> 
<columns> 
<column name=”COLUMN1”>value 1</column> 
</columns> 
<tokens> 
<token name=”X_COMMIT_TIME”>1620802191</token> 
</tokens> 
</dbupdate> 
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Trail: XML 
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<columns> 
<column name=”COLUMN1”>value 1</column> 
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<tokens> 
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Итого 


Грузим данные из (SV 

Репликация из XML 

ОМ хорошо на отладке 

XML простой: открыл файл — видишь транзакции 
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Что можно сделать лучше? 


ІД HighLoad++ 


Весна2021 


Оптимизируем прогрев 


Зіогаде 


Tarantool 
fer mann CSV csv CSV Replicator 
SELECT * FROM PARTITION_1 
SELECT TABLE_NAME ... 
тина реет ormone 
SELECT * FROM РАВТІТІОМ 2 
SELECT TABLE_NAME ... - 
FROM АЦ. ТАВ РАВТІТІОМЅ Tarantool Storage 
SELECT TABLE_NAME ... cs csv Replicator 
FROM 
ALL_TAB_SUBPARTITIONS 
Tarantool 


Replicator 


Storage 


HL) HighLoadH 


Весна 2021 


Как не написать свой 007 
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ХМІ: не все типы данных 


<dbupdate table=”XXX” type=”update” image=”before”> 
Unsupported data type CLOB for column COLUMN2 
<columns> 


<column name=”COLUMN1”>value 1</column> 
</columns> 
</dbupdate> 
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Меньше транзакций -» больше лаг 
транзакции набираем пачками 


не обрабатываем, пока не набрали пачку 
- добавили flush timeout 
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Оставание репликации по времени (секунды) 
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Оставание репликации по времени (секунды) 
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Почему так? 
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Почему так? 
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Оставание репликации по времени (секунды) 
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Итого 


е Достшли реалтайма 
е Mining работает как слой изоляции от сбоев 
ө Нужно работать с Ведо-логами, не с Archive 
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FORMATXML ENCODING ОТЕ-8 
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ХМІ 


FORMATXML ENCODING UTF-8 
<columns> 


<column name="COLUMN” Кеу-ігие>НОРМАЛЬНЫЙ ТАКОЙ UTF</column> 


</columns> 
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Итого 


е ХМ: — проще всего 
е USEREXIT — конвертирует сам, но нам не покатило 
е iconv — работает, но есть нюансы 
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Итог 


е время failover а в рамках SLA 
е фэйловер автоматический 
е фэйловер GG относительно дешевый 
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Немного про эксплуатацию 


Нет "обратной связи" 
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Мониторинг: лаг репликации end 2 end 


<tokens> 
<token name="X_COMMIT_TIME’>...</token> 


</tokens> 


LAG = NOW - X_COMMIT_TIME 
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Итог 


е Непрерывность репликации 
е Лагрепликаци! 
е Многочего еще — статусы всех процессов, нагрузка на downstream базе, etc. 
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Итого по технике 


Характеристики источника 

Структура витринь 

XML — легальный и самый простой способ СОС 
USEREXIT — более технологичный способ CDC 
Важны эксплуатационные характеристики 
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